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Інформаційна технологія для моделювання 
української мови жестів 


У роботі запропоновано інформаційну технологію для моделювання української мови жестів. Наведені 
інформаційна та математична моделі для фіксації мінімально значимих одиниць жестової мови, дактильної 
абетки, мімічних проявів при промовлянні. Розроблена технологія та відповідне програмне забезпечення для 
отримання, збереження та відтворення жестів та міміки промовляння. 


Суттєві обмеження існуючих засобів відтворення мови жестів спонукають до 
розробки більш гнучких алгоритмів, з допомогою яких можна було б створювати нові 
комп'ютерні системи навчання та комунікації для людей з вадами слуху. Авторами запро- 
понована концепція | 1), |2| інформаційної технології невербального спілкування людей з 
вадами слуху. Комплексна інформаційна технологія включає в себе функціональність з 
синтезу: рухів, мови жестів глухих, дактильної абетки, міміки промовляння на трьохмір- 
ній моделі людини. 

Реалізація можливості генерації анімації процесу мовлення за допомогою жестової 
мови з використанням віртуальних моделей людей потребує розробки відповідної інфор- 
маційної та математичної моделей. Виходячи з цього сформульована наступна постанов- 
ка задачі: 

1) потрібно розробити інформаційну та математичну моделі для фіксації морфем 
(мінімально значимих одиниць) мови жестів та для синтезу міміки промовляння; 

2) в рамках цієї моделі потрібно розробити технологію та відповідне програмне 
забезпечення для отримання, збереження та відтворення жестів та міміки промовляння. 


Модель для фіксації морфем мови жестів 


Процес відтворення жесту трьохмірною моделлю людини можна вважати анімацією 
з відповідною частотою різних станів скелетної моделі людини. 

Скелетна модель людини спрощено відтворює скелет живої людини. Її можна 
формалізувати як ієрархічну структуру, яка складається з поєднаних кінематичних пар, 
які відтворюють основні кістки скелету людини. Сучасні пакети трьохмірного моделю- 
вання (Розбег, 3) 5їшдаю Мах) вміють генерувати анімацію з допомогою віртуальної ста- 
тичної моделі та інформації про зміну відповідних кутів скелета. Отже, для формального 
опису процесу фіксації жесту можна використовувати множини, які відображають спро- 
щений скелет людини, та зміни відповідних кісток цього скелета у часі: 

На ЇН ІН, е їю, 4,Мм,«М 5 - спрощений скелет людини (ієрархія кісток) та значення 
кутів, на які змінюються координати кісток у часі для відтворення анімації жесту, де І, - 
і-та кістка скелету (1 - 0,-:,М-1, М - кількість кісток у скелеті); К - індекс кістки- 


Т 
предка; а; з ЕЕ ур» ї ,| - координати точки - кінця кістки у системі координат, яка 


пов'язана з початком цієї кістки; 
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М з ІМ :1М, Їомает; ,0; ) - значення кутів та порядок застосувань обертань для кожної 
кістки з плином часу. 

Для збереження формалізованих таким чином жестів пропонується використову- 
вати формат файла ВУН |3|. Формат файла ВУН був розроблений фірмою Віоміз10п 
саме для збереження даних про рух. Формат ВУН - один з найкращих форматів такого 
типу; його єдиний недолік - відсутність повного визначення базової пози, але це не 
впливає на нашу задачу. Файл у ВУН-форматі має дві частини: заголовок, який описує 
ієрархію моделі та початкову позу скелета, та область даних про анімацію. Основною 
причиною використання цього формату є його простота та повнота для нашого нормаль- 
ного опису. Крім того, цей формат розуміють основні програми трьохмірного моделюван- 
ня. На рис. І зображено скелетну модель людини, яка використовується для формального 
опису жесту. 
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Рисунок 1 - Скелетна модель людини 


Технологія для отримання та збереження жестів 


Історія трьохмірної анімації нараховує вже не одне десятиліття і прогрес у цій 
області очевидний. У даній роботі для моделювання віртуального актора (який має від- 
творювати мову жестів) досліджувалася технологія анімації, яка називається Мойоп 
Саріше. Системи Мобоп Сарійге з'явилися на початку 90-х років минулого століття. До 
появи цих систем однією з основних проблем було створення реалістичної анімації 
біологічних об'єктів. Принцип роботи Мобоп Сарішге досить простий - персонажа з 
віртуального світу грає реальний актор. Типова система Мобоп Сарішге представляє 
собою набір пристроїв-покажчиків, які прикріплені до тіла людини (або інтегровані в 
костюм). Інформація з пристроїв поступає на комп'ютер та опрацьовується відповідним 
програмним забезпеченням, завдяки чому відтворюється математичний опис руху актора, 
який використовується для керування віртуальною моделлю-актором. 
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Основним недоліком існуючих Мобоп Саріште систем є досить велика вартість 
як самого обладнання, так і відповідних послуг з відцифровки рухів. Авторами 
запропонована більш проста реалізація цієї технології. Виходячи з того, що для 
фіксації мови жестів не потрібна така складна фіксація, як для рухів з переміщенням 
у просторі, пропонується наступна технологічна схема: 

Т) за допомогою трьох камер проводимо зйомку людини, яка відтворює певний 
жест. Камери встановлені на однаковій фокусній відстані (1) від об'єкта зйомки та 
фіксують проекції: фронтальну, ліву та праву (рис. 2). Стани скелета характеризують 
М кадрів зйомки (з частотою 15 кадрів на секунду) 


Камера «І, еї» 


Камера 
Об'єкт «Кієрь 
І, І, 
«ес ь(Суаноо ь» 
А 
у Камера 


У «Егопі» 


Рисунок 2 - Положення камер при зйомці 


2) для фіксації і-го стану (1 - 1... М) скелета відтворимо відповідні кадри зйомки у 
вигляді відображення на трьох дзеркальних поверхнях типу «трюмо», які розташуємо на 
задньому плані трьохмірної сцени (рис. 3). 


А В 


Рисунок 3 - Площини для відображення кадрів зйомки 


Скелет розташуємо перед цими дзеркалами 1 спроектуємо на них ті кістки, кути зміни 
для яких треба визначити (рис. 4); 

3) співставимо точки проекцій кісток скелета з відповідним їм зображенням реаль- 

ної людини (для фронтального, лівого та правого кадрів), тобто отримаємо нові 

221714 гопі і бе ей е і Ма 

координати: Р ор ) - для фронтальної проекції, (мм ум 2) - для лівої 


-- іти 180" іти - -- 
проекції та МО р полу :) -- для правої проекції. Тут: 


оп | | 1807 Допі, от | 1180" Лопі, ей (я ей. дей о (|з Ії. 
Хі зх кої); , Мі б ої; ", Хі зх, кої); » Зі 23-39; 2 


І І 


з рик х; чоруям, на и я чорбр'яне . (1) 
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Рисунок 4 - Сцена для фіксації змін кутів у скелета 


Отримані таким чином значення зміщень о)/ будемо використовувати для всіх 
кадрів, які відтворюють жест. Для більш точного отримання значень о// бажано, щоб пер- 
шими кадрами зйомки процесу відтворення жесту були кадри з положенням, яке відпо- 
відає початковому положенню скелета (чи близькому до нього); 

4) для | го ( / - 1--- М) кадру на парі зображень (фронтальне і ліве або фронтальне 1 


праве) вказуємо точки зчленувань кісток, які змінили положення би" рр 


іпеуу 9 іє» 


) та 


ме" окгіоті | Чеїй огтієНі 


іпеуу 2./ іпеуу 


)) та визначаємо їх трьохмірні координати (у системі координат, пов'я- 


заній з кореневою точкою скелета): 
пеуу шпеу | пе) | | | Топ! опі 1, оп Жопі / Іеїї ок гідні еїї ок пісні 
(х Ді збі )-(х 70, ідею -оїї Х -оїї її (2) 


і і і пеу/ їх зу | 37 їтеуу б 
Далі, маючи трьохмірні координати нового положення точок зчленування кісток, визна- 
чимо значення кутів Ейлера, повороти на які переводять кожну кістку з попереднього 
стану до поточного. 


Маємо систему координат ХУ, ів ній два одиничних вектори: г ж Уа) і 
в ее, Ура») (рис. 5). Потрібно знайти кути Ейлера Ф,,Ф,Ф. обертання навколо від- 


повідних осей Х,У,/7 такі, що переводять вектор 7 у вектор 7». 


Рисунок 5 - Системи координат: ХУД, Х'У"/", Х'У"/" 


Для цього: 
1. Будуємо матрицю повороту Т, яка переводить вектор г у вектор 7; 


йо. бо о СО лу) СОВ(О ду) | СОЗИХ ту ) 
паТь,де Тер Її» І || СО8(И ,  ) | СО5(И п) | СО) 5 
дао о СО5(И. лу ) | СОВКИ. ду ) | ССО, ) 
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4К 
де, беручи до уваги, що вектори одиничні: 
оз уро зарй що 
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- зх м, до || мУ/» М 2122 
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ул ям Ух ТУ 
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вія БИЙ зоре На ЛА ЛИьеЛ Я тах бу, (5 
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2 2 
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Із2 А б зд 2-2» "7 фац 5 
хочу 
2 З У» 
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ізелАазлАаялі платах ТУ», (9) 
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хх Ла гі 2 2 2 2 
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Рисунок 6 - Направляючі кути осі повороту 


2. Далі визначимо кути Ейлера ф,; фу, ф.- Слід звернути увагу на те, що множення 


матриць не комутативне, тому потрібно розглянути шість випадків, які характеризують 
порядок обертання навколо осей. Тобто потрібно визначити кути для наступних 
порядків обертання навколо осей: 2УХ, УХ7, У/Х, ХУ, Х7.УХ, 7ХУ. 
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2.1. Порядок обертання: 2УХ (с() - со5(), 5() -- 81п() ): 


«у ЛГ ев, ее.) ее) ) (9) с )з (9) ес (9) (9, на )з 9) 
-с(в,)х(9,)з(9.) .42) 
9.) с(д,)з(9.) М а.с09,) 


і 
оо ді ут | и (13) 


-1 
2» ф, з агсів -рачч пл. 14) 
У Р 


із, - С05Гф, |з | ф, 
Із того, що и ,) 12ф загсіє з пл. (15) 
із3 З соз(ф, )сов (9, ) 


2.2. Для інших порядків обертання кути визначаються аналогічно. 


Рисунок 7 - Програмна реалізація технології відеозахвату рухів 


Модель для синтезу міміки промовляння та технологія 
отримання візуальних складових при промовлянні 


Міміка обличчя людини для мови жестів виступає як додатковий канал інформації 
(як для неглухих людей - інтонація промовляння). Для врахування зазначеного каналу 
інформації і реалістичності анімації процесу відтворення жесту були проведені експери- 
ментальні дослідження та розроблені алгоритми анімації міміки обличчя. Дослідження 
4), Г5) характеризують візуальний алфавіт як істотно неповний і такий, що складається з 
6 - 15 елементів в залежності від рівня реалістичності задачі сприйняття. 
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На основі наведених досліджень в області мовотворення та анімації мовленнєвого 
процесу експериментально була отримана множина візем (табл. 1) для 6 голосних й 32 
приголосних фонем, відповідно до фонетики української мови. Фонеми, за власним 
артикуляційним портретом, були розбиті на п'ятнадцять класів 1 додатковий клас стану 
спокою. Під віземою розуміється стан губ у максимальному відхиленні від стану спокою 
при промовлянні відповідної літери (звуку). 


Таблиця 1 - Множина візем для 6 голосних й 32 приголосних фонем 
візема фонеми візема фонеми 
1 а 9 п,б,м 
2 є 10 в, ф 
3 б; 11 т, д,н,л 
4 У 12 с, З, Ц, дз 
і и 13 р 
6 Й 14 л', р! 
7 ш, ж, ч, дж 15 т, ді, н! 
8 К,г,Х,І 16 стан спокою 


Для кожного класу віземи було побудовано відповідні мімічні вирази обличчя, 
які використовуються при побудові кадрів анімації мовленнєвого процесу (рис. 8). 


Візема 


71519 


Рисунок 8 - Приклади візем для української мови 


Модель та реалізація трьохмірного засобу 
для відтворення анімації жестів та міміки 


Для синтезу процесу анімації жестів та міміки трьохмірною моделлю людини 
запропоновано наступний формальний опис, який використовує відповідні множини 
параметрів та алгоритми роботи з ними. Трьохмірна модель людини, на якій реалізу- 
ватиметься процес анімації жестів та міміки, має наступні атрибути: 

У їм, гу, ж Їх, У, Р - множина вершин трикутників для тріангуляції поверхні 
трьохмірної моделі людини; 

М а Їп, п, іх, у, - множина нормалей до вершин; 

Т «4 п; з (1,5) - множина текстурних координат до вершин; 

ре ут п ен о вн - множина індексів, які вказують порядок побудови 
трикутників з множини вершин; 

Ін ПІ гі е Їїітя Й - множина фотографічних зображень елементів моделі - текстури. 

Для моделювання скелетної анімації потрібно вміти розраховувати нові значення 
вершин трикутників (Й). Для цього пропонується використовувати механізм скінінга. 
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Скінінг можна означити як алгоритм прив'язки множини вершин трикутників, які 
означують поверхню моделі до значень кутів скелета. Тоді модель скелетної анімації 
можна формалізувати наступним чином: 

мне мн НМ; 1 Й, СТЬ, Орает)) -- опис спрощеного скелета людини (ієрар- 


хія кісток) для реалізації скелетної анімації, де МН, - і-та кістка скелета (і - 0,:::,М-1, 


М - кількість кісток у скелеті); к - індекс кістки-предка; 11, с) - множина індексів 


нащадків кістки, ( РУ |, но Її -- координати точки -- кінця кістки у системі координат, 
яка пов'язана з початком цієї кістки; СІЬ - вектор для визначення координат кістки у 
глобальній системі координат, Отаєег, - порядок застосування обертання. 
5Кіп з 15Кіп, : 5Кіп, -- (Ітаех Уемех,, Меїяті, ),---Ї) - множини вершин, які впливають на 
поточну вершину при зміні кутів. 
Скінінг розраховується для кожної вершини У наступним чином: 
М 
у, з УЦу, х ІВМ у, ХМ у, о ЛРУ (16) 
із«0 
де: п - Кількість кісток, пов'язаних з вершиною у; 
ЇВМ у, - інверсна біпі-рове матриця для кістки Н,; 


М у, - матриця переміщення для кістки Н,; 
ЛИ. - ваговий коефщієнт для застосування впливу точок кістки Н, на вершину у. 


Для моделювання анімації промовляння запропоновано використовувати механізм 
морфінгу. Морфінг можна означити як алгоритм плавного переходу від одного стану 
об'єкта до іншого. При використанні морфінгу використовуються лише опорні стани, з 
допомогою яких розраховуються проміжні стани і моделюється процес анімації. Модель 
морфінгу міміки промовляння можна формалізувати наступним чином: 

Відображення або побудова міміки на обличчі трьохмірної моделі досягається при 
застосуванні відносного (сегментного) морфінгу до моделі голови і мімічного процесу. 
Формула відносного морфінгу для М морфів у формалізмі моделі матиме наступний 
вигляд: 


М 
У Кам, ТМ, (17) 


тії 
де м; - вагові коефіцієнти, Й - меш базової моделі без морфінгу, ТМ, - вхідний меш (морф) 


для блендінгу (Біепатпо). Результатом операції є лінійна комбінація мешів моделі і мімік. 

Метод сегментного морфінгу дає змогу: формувати декілька виразів обличчя на 
основі невеликої кількості морфів та змінювати стан обличчя при анімації промов- 
ляння. Додатковою перевагою сегментного морфінгу є те, що можна анімувати ще- 
лепу незалежно від губ та очей (кліпання), незалежно від емоційного прояву на обличчі. 

Для відтворення процесу анімації жестів та міміки трьохмірною моделлю людини 
створено засіб, який реалізує скелетну (для відтворення жесту) та морфемну (для відтво- 
рення міміки промовляння та емоцій) анімацію. Реалізована відповідна програмна 
функціональність, яка, використовуючи трьохмірне АРІ ОрегпСЇ,, відтворює за означе- 
ними атрибутами модель людини (рис. 9) та, з використанням алгоритмів скінінга та 
морфінгу, відтворює анімацію (рис. 10). 
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ДИ. 


Рисунок 9 - Відтворення трьохмірної моделі людини 


те22Ф2222? 


Рисунок 10 - Кадри анімації жесту «Ти» 


Для тестування створеної реалізації було розроблене програмне забезпечення (рис. 11): 


Тез ПІві (кіно 


19 вотиї 


| | Іоайтродеі йога хлів БАГАТО 
(| іоабвуНІМВ)когіїе ||| |БАТЬКО 


(суч 21 |БРАТ 


з - ГОВОРИТИ 
| Заугіоов |ТИ ДАКТИЛЮВАТИ 


Г ОвівівіютоВ | Дідусь 


Оінапсе ДОБРЕ (2) 
ДОРІВНЮЄ 


ЖЕСТОВЕЇМ'Я 


ЗАЛИШИТИ (2) 
ЗАЛИШИТИ (3) 
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знАТИ 


МАЛО 

0) Цифри МАТИ МАТІР) 
МЕНШЕ 
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НАМАЛЮВАТИ 
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НЕ ЗНАТИ 
НЕ РОЗУМІТИ 
НЕМАЄ 


плюс 
ПОВТОРИТИ 
ПОКЛАСТИ 


ПРОШУ 
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Рисунок 11 - Програмне застосування для тестування засобу відтворення анімації жесту. 


Реалізація української жестової мови 


Для реалізації української жестової мови була створена програмна реалізація, 
яка відтворює методику викладання жестової мови у спеціальних загальноосвітніх 
школах для глухих дітей. За основу було взято рекомендовану Міністерством освіти 
програму |6| для початкових класів. 
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Тез ППБ Пибно) 


Щі українська мова жестів 


Меню | Вікна | Допомога 1 


Те, що програється 


ТЕМА 1. Знайомство 
ТЕМА 2. Моя сім'я 


ТЕМА 10. Продукти харчування 

ТЕМА 11. Часові поняття 

ТЕМА 12. У магазині 

ТЕМА 13. Пори року 

ТЕМА 14. Школа (продовження) 

ТЕМА 15. Квартира (продовження) 
ТЕМА 16. Одяг (продовження) 

ТЕМА 17. Арифметика (продовження) 
ТЕМА 18. Посуд (продовження) 

ТЕМА 19. Правила вуличного руху 
ТЕМА 20. Продукти харчування (продовження) 
ТЕМА 21. Зимові канікули 

ТЕМА 22. Тварини (продовження) 
ТЕМА 23. Часові поняття (продовження) 
ТЕМА 24. Пори року (продовження) 


Вибрати 


Рисунок 12 - Програма «Українська мова жестів» 


Функціонально програма складається з трьох інформаційних блоків (теми, слова та 
речення) 1 блоку відтворення жесту віртуальною моделлю. Основним блоком є блок 
«Теми». У ньому сконцентровані основні методичні відомості, які розглядаються на 
уроці: що потрібно у цій темі сформувати в учнів, які навички потрібно засвоїти, які 
особливості морфології жестової мови та які види синтаксичних конструкцій містить 
матеріал. Наведений список нових жестів з теми, що розглядається. Наведені речення 
з цими словами, які містять граматичні та синтаксичні конструкції (рис. 13). 


Г «ми ) ТЕМА 1. Знайомство 


Формування уявлень про поведінку та особливості 
спілкування в ситуації знайомства. Навички побудови та 
розуміння жестових висловлювань. Поняття про 
культуру жестової мови. 
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ІЯ ЖЕСТ) ДЖЕСТОВЕ ІМ'ЯЇНЕМАЄ) Я немаю жестового імені 
Я ЖЕСТІГЛУХИЙІ Я глухий 
ІЯ (ЖЕСТЇЖЕСТИЇЗНАТИЇДОБРЕ) | Я знаю жестову мову добре 


Рисунок 13 - Блок «Теми», тема «Знайомство» 
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Блоки «Слова» та «Речення» носять допоміжну функцію. У них сконцентровані всі 
жести та всі приклади речень (які використовують розглянуті жести). 


9) Жести Абетка Цифри Вибір речень за темою 


а елинсдомоь 
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яму ДАКТИЛЮВАТИ Речення 


БАТЬКО Опис: Мова жестів Українська мова 
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ДОБРЕ 
ДОБРЕ (2) 
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Рисунок 14 - Блок «Слова» Рисунок 15 - Блок «Речення» 


Блок відтворення жесту віртуальною моделлю у цій реалізації несе особливу 
функцію. Саме з допомогою нього стало можливим демонструвати у навчальному проце- 
сі динаміку жесту. Беручи до уваги, що жести оцифровуються носіями жестової мови, 
вони, по суті, стають стандартами відтворення жесту. Реалізована у блоці можливість 
покадрового показу жесту слугує засобом, з допомогою якого стане можливим вивчення 
жесту без особливостей показу конкретним викладачем. Це стане основою того, що вив- 
чені дітьми жести будуть однаковими для різних шкіл, регіонів. Фактично, жестова мова 
(в основній своїй множині) стане стандартною на території України. 


Висновки 


Використовуючи модель для фіксації рухів, які відтворюють українську жестову 
мову, була оцифрована множина із 50 жестів. Відтворення жестів із цієї множини (за 
допомогою моделі для відтворення анімації) показало спроможність запропонованої 
технології досить реалістично відтворювати на трьохмірній моделі рухи, що отримані з 
відеозображення конкретної людини -- носія жестової мови. 

Було реалізовано програмне забезпечення, яке відтворює декілька уроків україн- 
ської жестової мови. Були взяті уроки із програми спеціальних загальноосвітніх шкіл для 
глухих дітей |бЇ. 

Розроблене програмне забезпечення може стати основою створення стандарту 
жестової мови. Стане можливим вирішити проблему відмінностей для одних і тих самих 
жестів, яка виникає від того, що діти вивчають жест, який містить особливості конкрет- 
ного викладача. 

Подальші дослідження направлені на вдосконалення запропонованої технології: 

- врахування обмежень на ланки скелета для отримання не тільки реальної статичної 
пози скелета, а і реальних можливостей змін кутів при конкретних ланках; 
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-- наповнення бази даних жестів основною множиною жестів української жестової 
мови - створення стандарту жестової мови; 

- створення засобу для семантичного зв'язування речень українською мовою з 
реченнями жестової мови. 
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Информационная технология для моделирования украийнского язьтка жестов 

В работе предложена информационная технология для моделирования украинского язьтка жестов. Приведеньт 
информационная и математическая модели для фиксации минимально значимьтх единиц жестового язьтка, 
дактильной азбуки, мимических проявлений при произношений. Разработана технология и соответствующеє 
программное обеспечение для получения, сохранения и воспроизведения жестов и мимики речи. 
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